การก่อสร้างพระราชวังบนเขา ห้วงที่เครื่องจักรกล เครื่องทุนแรงยังไม่มี การแผ้วถางปรับสภาพยอดเขาทั้งสามยอด ให้รานราบมีทางขึ้นลงเชื่อมต่อกัน การลำเลียง อิฐ หิน ดิน ทราย อุปกรณ์การก่อสร้าง จำเป็นต้องใช้แรงงานขั้นพื้นฐานจำนวนไม่น้อย

สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค) ซึ่งในขณะนั้นดำรงตำแหน่ง เจ้าพระยาศรีสุริยวงศ์ พระสมุหกลาโหม ในฐานะแม่กองงานใหญ่ ในการก่อสร้างพระราชวังบนเขา มีทั้งอำนาจทางทหารกำลังไพร่พลในการควบคุมดูแลโซ่งที่ได้กวาดครัวมาไว้ที่เพชรบุรี สมัยรัชกาลที่ 3 (พ.ศ. 2378 – พ.ศ. 2381) ได้อพยพมาจากท่าแร้งโดยตั้งถิ่นฐานใหม่ที่เชิงเขากิ่ว สะพานยี่หน เวียงคอย วังตะโก ซึ่งอยู่ใกล้กับเขาสมน จึงถูกกำหนดเกณฑ์มาใช้เป็นแรงงาน สร้างพระราชวังในครั้งนี้

นับเนื่องแต่ พ.ศ. 2401 – พ.ศ. 2405 เป็นต้นมาทุกเช้าจรดเย็น แรงงานไทดำ นุ่งกางเกง(ซ่วง)สีดำ สวมเสื้อก้อมย้อมสีครามดำ เดินออกจากหมู่บ้านสะพานยี่หนมุ่งตรงไปยังเขาสมน นับวัน นับเดือน นับปี ด้วยความซื่อสัตย์ และจงรักภักดีต่อหน้าที่

เมื่อพระราชวังบนเขา พระนครคีรี สำเร็จเป็นที่แปรพระราชฐาน ทรงงาน รับรองพระราชอาคันตุกะต่างประเทศ และเป็นที่พักผ่อนส่วนพระองค์แล้ว พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 4 ทรงพระกรุณาโปรดเกล้าฯ ให้บุตรหลานเจ้าเมืองและคหบดีที่มีชื่อ มารับราชการเป็นมหาดเล็ก และโปรดเกล้าฯให้คัดเลือกผู้ไทดำ มาเป็นเด็กชาด้วย เนื่องจากทรงเห็นความดีความชอบจากที่ผู้ไทดำ มาเป็นแรงงานก่อนสร้าง ช่วงก่อสร้างพระราชวังพระนครคีรีด้วยความอดทน อุตสาหะ